升级版APDrawing，人脸照秒变线条肖像画，细节呈现惊人

Original 高卫华 AI科技大本营 2020-12-18

作者 | 高卫华

出品 | AI科技大本营

随着深度学习的发展，GAN模型在图像风格转换的应用越来越多，其中不少都实现了很好的效果。

此前，reddit上的一个技术博主AtreveteTeTe基于GAN模型混合将普通的人像照片卡通化，并通过First Order Motion模型生成了动画，引起诸多网友的热捧。像这类卡通风格的画像生成，通常对单元素的质量要求不高，对于模型的训练，会忽略一些细节上的不足。

不过，最近一个开发者在GitHub上放出了一个可用于创建线条艺术肖像的项目，基于深度学习开发了ArtLine，其创建的线条肖像画在细节上的呈现效果惊人。

项目链接：

https://github.com/vijishmadhavan/ArtLine

ArtLine最简单的入门方法：

https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb

艺术肖像线条画方面，去年清华大学曾提出一个层次化的GAN模型APDrawingGAN，可以有效地基于人脸照片生成高质量、富有表现力的线条画。

但APDrawingGAN在识别面部特征方面存在局限性，例如在识别与ID照片类似的正面照片时，需要照片具有清晰的面部特征以及无佩戴眼镜或者面部有明显皱纹。

而ArtLine可以解决这项局限性，同时可以识别任何人物姿态的图像。其生成的肖像画在脸部、眼睛、嘴唇和鼻子周围是否达到适当的线条，完全取决于提供给模型的数据。

APDrawing数据集主要由特写肖像组成，该模型难以对衣服、手等进行重新着色。因此，ArtLine结合使用了从Anime sketch着色对数据集中选择的图像，帮助模型更好地了解线条细节。

这是使用ArtLine即时创建的电影海报。

技术实现

ArtLine采用Self-Attention Generative Adversarial Network（简称SAGAN）生成器，该模型是经过预训练的UNET，具有频谱归一化和自我注意功能，可为图像生成任务提供注意力驱动的远程依赖关系建模。

传统的卷积GAN，根据低分辨率特征图中空间局部点的函数来生成高分辨率的细节。而在SAGAN中，可以使用来自所有要素位置的提示来生成细节。并且，鉴别器可以检查图像部分中的详细特征是否一致。

此外，据最近的研究表明，生成器调节会影响GAN的性能。为此，将频谱归一化应用于GAN生成器，以改善训练动态。

SAGAN实现了最先进的效果，在具有挑战性的ImageNet数据集上，将已发布的Inception分数从36.8提高到52.52，并将Frechet Inception距离从27.62降低到18.65。据注意层的可视化显示，生成器利用了与对象形状相对应的邻域，而不是固定形状的局部区域。

ArtLine使用生成对抗网络的新训练方法，关键思想是从低分辨率开始添加新层，逐渐增加生成器和鉴别器，以随着训练的进行对越来越细的细节建模。这既加快了训练速度，又极大地提高了生成图像的质量。

训练中，ArtLine采用一种用于评估图像质量和变化等GAN结果的新指标，并构建了CelebA数据集更高质量的版本。

进行高质量图像的转换时，通常使用输出图像与真实图像之间的每像素损失来训练前馈卷积神经网络。而研究表明，高质量图像也可通过从预训练网络提取高级特征，定义和优化感知损失函数来生成。

结合这两种方法的优势，ArtLine使用感知损失函数来训练用于图像转换任务的前馈网络。与基于优化的方法相比，ArtLine可给出相似质量的图像转换结果，但其生成速度快了三个数量级。对于单图像超分辨率的方法，实验表明将每像素损失替换为感知损失，视觉上会更令人愉悦。

目前，ArtLine在图像生成时也存在一些问题，如其生成器会将照片阴影与头发混淆；另外，对于低于500像素的低质量图像，ArtLine的图像转换效果不佳。

论文链接：

https://arxiv.org/abs/1805.08318

https://arxiv.org/abs/1710.10196

https://arxiv.org/pdf/1603.08155.pdf

更多精彩推荐